Requested Patent FR2803928A1 



Title: 

PROCESSING OF NATURAL LANGUAGE TEXT TO EVALUATE THE CONTENT 
FOR MARKING IN AN EDUCATIONAL CONTEXT, USES COMPARISON OF 
ENTERED TEXT TO SET OF STORED KEY WORDS TO DETERMINE SCORE ; 

Abstracted Patent FR2803928 ; 

Publication Date: 2001-07-20 .'; 

Inventory): MULLER BERNARD GASTON FRANCOIS ; 

Applicants): AURALOG (FR) ; 

Application Number FR20000000590 20000118 ; 

Priority Number(s): FR20000000590 200001 18 ; 

IPC Classification: G06F17/28; 

Equivalents: ; 

ABSTRACT: 

The processing system has an interface to allow the user to introduce their response in text form 
The processing makes use of a stored (13) list of key words associated with the question posed 
and compares (1 1 ) the text with key words to detect coincidence. A score (1 4) is computed 
based on the coincidence, and made available for further processing. 



® REPUBUQUE FRANCAISE © N° de publication : 2803 928 

(a n'utiliser que pour les 
commandos de reproduction) 

(fj) N° d'enregistrement national : 00 00590 



INSTITUT NATIONAL 
DE LA PROPRIETE INDUSTRIELLE 



PARIS 



£l)lntCI 7 : G 06 F 17/28 



DEMANDE DE BREVET D'INVENTION 



A1 



(§) Date despot: 18.01.00. 
@) Priority: 



^3) Date de mise & la disposition du public de la 
demande : 20.07.01 Bulletin 01/29. 



(56) Lfste des documents cites dans le rapport de 
recherche prelimiriaire : Se reporter a la fin du 
present fascicule 

References d d'autres documents nationaux 
apparentes : 



(jj) Demandeur(s) : AURALOG Soci&6 anonyme—FR. 



@ lnventeur(s) : MULLER BERNARD GASTON FRAN- 
COIS. 



®Titulaire(s): 



® Mandataire(s) : CABINET OE BOISSE ET COLAS. 



00 

CM 
O) 

CO 

o 

CO 
CM 

DC 
LL 



® SYSTEME DE TRAITEMENT DE DONNEES POUR DEVALUATION D'UN TEXTE. 



(57) ce systfcme de traltement de donnees pour revalua- 
tion d'un texte en langage nature! elabore par un utilisateur 
en reponse d une consigne transmise audit utilisateur 
comprend: 

- des premiers moyens d'lnterface pour Fintroduction par 
ledit utilisateur dudit texte en r§ponse & iadite consigne, et 

- des moyens de traitement de donnees (1 1 ) pour reva- 
luation dudit texte (10), comprenant: 

* des moyens (13) de memorisation d'au moins une liste 
de mots-cies associes & Iadite consigne, 

* des moyens de comparison (11) pour identifier des 
mots dudit texte (1 0) comcidant avec des mots de Iadite liste 
de mots-cies memorises, et 

* des moyens de calcul (11) pour generer une donhee 
(1 4) devaluation dudit texte en fonction du resultat de Iadite 
comparaison. 
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L' invention a pour objet un systeme de traitement de 
donnees pour 1' evaluation d'un texte. 

Dans le domaine de l'enseignement, notamment 
l'apprentissage des langues, 1' Evaluation de la qualite et 
de la pertinence d'un texte ecrit en langage naturel en 
reponse a une consigne ou une question repose sur une 
appreciation portee par une personne physique, le 
correcteur. 

Par ailleurs, il existe des logiciels educatifs, 
notamment d'apprentissage des langues, qui, au moyen d'un 
ordinateur personnel, permettent a un individu 
d'effectuer un apprentissage sans intervention d'un 
enseignant ou correcteur personne physique. Ces systemes 
permettent de corriger automat iquement les reponses 
faites par l'utilisateur a des questions qui lui sont 
posees dans le cas ou il existe un nombre fini et limits 
de reponses possibles a ces questions. 

L' invention vise a fournir un systeme de traitement 
de donnees permettant d'evaluer automat iquement la 
pertinence d'un texte redige librement en langage naturel 
en reponse a une consigne. On entend ici par consigne 
1' ensemble des indications donnees a un utilisateur du 
systeme pour rediger son texte. Cette consigne peut se 
presenter par exemple sous la forme d'un texte (tel 
qu'une question, un theme, etc.) associe a un document 
(tel qu'un enregistrement audio, une image fixe, une 
image video, etc.). Cette consigne est presentee a 
l'utilisateur par des moyens d'interface tela" que 
transducteur acoustique, 6cran d'affichage, ectan video, 
etc. 

A cet effet, 1' invention a pour objet un systeme de 
traitement de donnees pour 1' Evaluation d'un texte en 
langage naturel ElaborE par un utilisateur en reponse a 
une consigne transmise audit utilisateur, comprenant : 
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- des premiers moyens d T interface pour I 1 introduction 
par ledit utilisateur dudit texte en r^ponse £ ladite 
consigne, et . 

- des moyens de traitement de donn6es pour 
devaluation dudit texte, 

caract6rise en ce que lesdits moyens de traitement de 
donnees comprennent : 

* des moyens de memorisation d'au moins une liste 
de mots-cies associes a ladite consigne, 

* des moyens de comparaison pour identifier des 
mots dudit texte coincidant avec des mots de 
ladite liste de mots-cles memorises, et 

* des moyens de calcul pour g6n6rer une donnee 
devaluation dudit texte en fonction du 
resultat de ladite comparaison. 

De pr6f6rence, le systeme selon 1' invention comporte 
en outre une ou plusieurs des caract6ristiques suivantes 
consid6rees seules ou en combinaison : 

- lesdits moyens de memorisation contiennent plusieurs 
listes de mots-cies, chaque liste regroupant un ensemble 
de mots-cies affect6s k un concept associe A ladite 
consigne ; 

- lesdits moyens de calcul sont adapt6s pour 
•calculer. une note fonction du nombre de listes dont ledit 
texte contient au moins un mot-cle ; 

- lesdits moyens de memorisation contiennent ' un 
coefficient de pertinence affecte a chacun desdits mots- 
cles et lesdits moyens de calcul sont adaptes pour 
calculer ladite note en fonction du coefficient de 
pertinence d'au moins une partie des mots-cUs contenus 
dans le texte ; 

- a chaque liste est affectee une valeur maximale et 
lesdits moyens de calcul sont adaptes pour : 

* calculer pour chaque liste une valeur ponderee 
fonction du coefficient de pertinence d'au 
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moins un mot-cl6 de ladite liste contenu dans 
ledit texte, 

* calculer ladite note en fonction de la somme 
des valeurs pond6r6es desdites listes ; 

- le syst6me comprend des moyens de verification 
orthographique et/ou grammaticale et/ou s6mantique dudit 
texte et lesdits moyens de calcul sont adaptes pour g£n6rer 
ladite donn§e devaluation en fonction des r4sultats de 
ladite verification et de ladite comparaison ; 

- lesdits moyens de calcul sont adaptes pour 
calculer une note de qualite fonction du nombre de fautes 
detect6es dans ledit texte par lesdits moyens de 
verification et une note de pertinence fonction du 
resultat de ladite comparaison ; 

- lesdits moyens de calcul sont adaptes pour generer 
ladite donn6e devaluation en fonction desdites notes de 
qualite et de pertinence ; 

- le systeme comporte des moyens de generation de 
ladite consigne et, pour la transmission de ladite 
consigne audit utilisateur, des seconds moyens d f interface, 
comprenant au moins I'un parmi les moyens de : 

* affichage alphanumerique, 

* affichage graphique, 

* affichage vid6o, 

* reproduction de messages audio ; 

- lesdits moyens d 1 introduction dudit texte 
comprennent au moins l'un parmi plusieurs moyens 
comprenant un clavier, des moyens de reconnaissance de 
l'ecriture, des moyens de reconnaissance vocale. 

L' invention vise 6galement l 1 application d T un 
syst&ne de traitement de donnees tel que defini ci-dessus 
a I'apprentissage des langues etrangeres. 

D'autres caract6ristiques et avantages de 
l 1 invention ressortiront de la description qui va suivre, 
faite en se ref6rant aux dessin annexes sur l^squels : 
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- la figure 1 est un schema-bloc materiel simplifie 
d'un exemple de realisation du systeme de traitement de 
donnees selon . 1' invention base sur un ordinateur 
personnel, et 

- la figure 2 est un schema-bloc fonctionnel 
illustrant les fonctions mises en oeuvre dans le systeme 
de traitement de donnees selon 1' invention. 

Selon 1' exemple de realisation de la figure 1, le 
systeme de traitement de donnees selon 1' invention est 
base sur un ordinateur personnel (PC) '1 convenablement 
programme. De maniere essentielle, le PC 1 est equipe de 
moyens de traitement de donnees 2 (microprocesseur) et de 
memoires 3, ainsi que d'un certain nombre d' interfaces. 
Ces interfaces comprennent un ecran d'affichage 4, un 
clavier 5, un dispositif 6 d.' acquisition des donnees et 
programmes necessaires a 1' execution des fonctions qui 
sont decrites dans la suite, et facultativement un ou 
plusieurs transducteurs electro-acoustiques (HP) 7. Le 
dispositif 6 peut etre constitue, par exemple, par un 
lecteur de disquette, CD-ROM, DVD-ROM ou autre moyen de 
stockage de donnees. II peut s'agir egalement d'un 
dispositif d'echange de donnees au moyen duquel 
1' ordinateur personnel 1 se trouve relie par un reseau de 
communications tel qu'un reseau local ou Internet a un 
serveur a partir duquel les programmes precites, ou une 
partie de ceux-ci, sont telecharges. 

II s'agit la d'un simple exemple de realisation du 
systeme de traitement de donnees suivant 1' invention et 
celui-ci pourrait revetir d'autres formes, par exemple 
celle d'un ordinateur central contenant les programmes 
precites et auxquels l'utilisateur a acces via un 
terminal . 

On se reportera egalement a la figure 2 sur laquelle 
sont explicitees les fonctions mises en oeuvre par le 
systeme de traitement de donnees de la figure 1. 
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Lorsqu'un utilisateur a accede sur son PC 1 a 
1' application concernee, stockee. par exemple sur un CD 
ROM 8 lu par le lecteur 6, il lui est presentee une 
consigne l'invitant a rediger un texte en langage 
naturel. 

Cette consigne consiste en des indications relatives 
au sujet ou theme du texte que doit elaborer 
l'utilisateur. Cette consigne peut se presenter sous la 
forme d'une ou plusieurs questions, d'un texte 
definissant le sujet ou theme a traiter, d'une image 
fixe, d'une sequence video ou d'une combinaison d'un ou 
plusieurs de ces media. Cette consigne est presentee a 
l'utilisateur via les moyens d ' interface du PC tels que 
l'ecran 4 et/ou le transducteur electro-acoustique 7. 

En reponse a la consigne, l'utilisateur elabore un 
texte en langage naturel et l'introduit dans le PC 1 au 
moyen du clavier 5. En variante, le texte pourrait etre 
introduit dans le PC 1 par d'autres moyens d' interface 
non represents a la figure 1, par exemple oralement via 
un microphone et des moyens de reconnaissance vocale, ou 
sous forme manuscrite via une ardoise electronique et des 
moyens de reconnaissance d'6criture. 

Le texte 10 introduit dans le PC 1 est sounds 
respectivement en 11 a un processus d' evaluation de sa 
pertinence et en 12 a un processus devaluation de sa 
qualite. 

Le processus 11 devaluation de la pertinence du 
texte repose sur le stockage d'un certain nombre de mots- 
cles qui sont associes a la consigne et qui permettent de 
verifier 1' adequation de la reponse (le texte 10) a la 
question et/ou le document de reference (la consigne) . De 
preference, ces mots-cles sont organises en un certain 
nombre de listes correspondant respectivement a 
differents concepts-cles associes a la consigne. Chaque 
concept-cle est ainsi defini par une liste de mots qui- 
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illustrent le concept. Le terme liste doit etre compris 
dans une acception large comme designant un ensemble de 
mots-cles stockes en memoire avec un lien les rattachant 
entre eux et les distinguant des mots-cles d 'autres 
5 ensembles ou liste. 

En outre, un coefficient de pertinence est de 
preference associe a chaque mot-cle, pour rendre compte 
de sa proximite semantique avec le concept-cle 
correspondant. Par exemple, au mot "maison" pourraient 
10 etre associes les mots "maison", "chalet", "appartement" 
avec un coefficient de pertinence de valeur maximale 
(valeur 1 par exemple), et les mots "hutte"., "suite", 
"habitat", "habitation", "caserne", "chateau", ... avec 
un coefficient de pertinence de valeur plus faible 
15 (compris entre 0 et 1 par exemple). Les mots definissant 
un concept-cle dependent evidemment du concept, mais il s 
peuvent etre egalement lies au contexte d' utilisation de 
celui-ci selon la question posee, le document de 
reference utilise... Les listes de mots-cles et les 
20 coefficients de pertinence qui leur sont associes sont 
elabores par les concepteurs de 1 ' application et stockes 
en memoire comme indique precedemment et comme illustre 
par la reference 13 a la figure 2. 

Ainsi, au niveau du bloc 11, i es moyens de 
25 traitement de donnees 2 precedent a une comparison entre 
les mots du. texte 10 et ceux des listes 12 de mots-cles. 
A partir de cette comparison, les moyens de traitement 2 
calculent une note de pertinence qui est fonction du 
nombre de listes ou concepts-cles dont au moins un mot- 
30 cle est contenu dans le texte 10. Le mode de calcul de la 
note peut etre adapte en fonction des besoins. 

A tit re d' exemple, si le texte 10 contient plusieurs 
mots-cles d'une meme liste, il P eut etre choisi de ne 
retenir que celui ayant le coefficient de. pertinence de 
35 valeur la plus elevee. La valeur maximale de chaque liste 
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ou concept-cle peut etre fixee a 1 et le coefficient de 
pertinence des mots-cles compris entre 0 et 1. La note 
attribute a la pertinence du texte 10 sera done alors 
constitute de la somme des coefficients de pertinence des 
differents mots-cles retenus dans chaque liste (a savoir, 
dans cet exemple, un seul par liste) rapportes au nombre 
de listes ou concepts-cles. 

Eh outre, il peut etre prevu dans les listes de 
mots-cles des mots penalisants, e'est-a-dire des mots qui 
ne devraient pas etre utilises dans le texte 10 compte 
tenu de la consigne et de son contexte, par exemple de 
faux amis. De preference, ces mots sont affectes de 
coefficients de ponderation negatifs et viennent done, 
lorsqu'ils se rencontrent dans le texte 10, diminuer la 
note elaboree en 11. Celle-ci est designee Note 1 au bloc 
14. 

Parallelement au processus d'evaluation de la 
pertinence du texte en 11, il est procede en 12 a 
1' evaluation de sa qualite au moyen d'un correcteur 
grammatical 15, d'un correcteur orthographique 16 et, 
facultativement, d'un correcteur semantique 17. 

Un correcteur orthographique est un logiciel 
permettant d'iridiquer, dans un texte quelconque, tous les 
mots qui ne figurent pas dans un dictionnaire de 
reference. Idealement, ce dictionnaire contient tous les 
mots, avec leurs declinaisons, existant dans la langue du 
texte. 

Un correcteur grammatical est un logiciel permettant 
d'indiquer si un texte est grammaticalement correct et, 
le cas echeant, d'indiquer ou se situent les erreurs et 
la nature de celles-ci. Les erreurs peuvent concerner par 
exemple les accords, la formation des phrases, le respect 
des regies de grammaire, etc. 

En pratique, un correcteur grammatical integre un 
correcteur orthographique, mais- ils ont ete representes 
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sous forme separee sur le dessin pour des raisons de 
clarte. 

Les correcteurs orthographiques et gramraaticaux sont 
largement utilises en association avec les logiciels de 
traitement de texte les plus connus et ne seront done pas 
decrits. On citera pour raemoire les produits suivants : . 

- CORRECT ENGLISH, de la societe Lernout et Hauspie 
(Belgique) pour la langue anglaise, 

- CORRECTEUR 101 et EL CORRECTOR de la societe 
Machina Sapiens (Canada) pour les langues francaise et 
espagnole respectivement ; 

- ERRATA CORRIGE de la societe Expert Systems 
(Italie) pour la langue italienne. 

Le correcteur grammatical 15 et le correcteur 
orthographique 16 permettent de detecter des fautes dans 
le texte 10, et de calculer en 18 une seconde note, 
designee Note 2, en fonction du nombre de fautes 
detectees. 

Dans le systeme decrit dans la presente demande, le 
correcteur grammatical 15 et le correcteur orthographique 
16 sont utilises essentiellement a des fins de 
verification pour noter la qualite du texte 10. Bien 
entendu, ces logiciels peuvent, au choix du concepteur de 
1' application, etre utilises egalement dans leur fonction 
de correcteurs en presentant a l'auteur du texte les 
fautes orthographiques et grammaticales qu'il a commises, 
par exemple par voie d'affichage dans le texte considered 

De maniere facultative, une troisieme note, designee 
Note 3 au bloc 19, peut etre elaboree au moyen du 
correcteur semantique 17. Un correcteur semantique est un 
logiciel permettant de verifier la coherence semantique 
du texte analyse. II permet par exemple de rejeter les 
phrases grammaticalement correctes, mais absurdes, telles 
que par exemple "la carotte devore le lapin". En 
variante, le nombre de fautes detectees par le correcteur 
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semantique 17 peut constituer un parametre de calcul de 
la note 2 en 18 au lieu de donner lieu au calcul d'une 
note separee en 19 comme represents a la figure 2. 

D'autres parametres tels que le noinbre.de mots du 
texte 10, la longueur moyenne des phrases, le temps mis 
par l'utilisateur pour formuler sa reponse (texte 10), 
peuvent egalement etre pris en compte en 20 pour calculer 
une quatrieme note designee Note 4 en 21. 

Enfin, a partir des notes calculees en 14, 18 et 
eventuellement 19 et 21, les moyens de traitement 2 
calculent en 22 une Note finale qui est la note globale 
devaluation de la qualite et de la pertinence du texte 
10. Cette Note finale est communiquee a l'auteur du texte 
10, par exemple par affichage sur l'ecran 4. 
Naturellement, il est egalement possible d'afficher pour 
l'auteur du texte 10 les notes individuelles calculees en 
14, 18 et eventuellement 19 et 21. 

La Note finale du bloc 22 peut se presenter soit 
sous la forme d'un nombre de points rapportes a une 
valeur maximale, soit comme un degre dans une echelle de 
notation, soit encore sous n'importe quelle forme 
appropriee. Le calcul de la Note finale en 22 peut bien 
entendu faire appel a des coefficients appliques aux 
notes des blocs 14, 18, 19 et 21. De.meme, de tels 
coefficients peuvent etre appliques par le correcteur 
grammatical 15, le correcteur orthographique 16 et le 
correcteur semantique 17 en fonction de la gravity des 
fautes detectees. 

A titre d' exemple, si on veut donner une note 
globale sur 20 (en supposant qu'il n'y a pas de 
correcteur semantique 17 et de correcteur 20 en fonction 
d'autres parametres), on peut noter sur 10 le resultat du 
correcteur grammatical et orthographique 15, 16 (10 - le 
nombre de fautes detectees) et sur la 10 la presence des 
concepts-cles (si cinq concepts-cles ou listes de mots- 
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cles sont definis pour une consigne, on peut attribuer 
deux points pour chaque concept-cl6 retrouv6 dans le 
texte, le coefficient de pertinence des mots utilises 
servant a moduler I 1 attribution de ces points), 

Le systeme de traitement d£crit peut etre utilise 
par exemple pour la mise en oeuvre d'un logiciel 
multimedia d'apprentissage des langues Strangles. 
L'utilisateur prend connaissance d'un document (par 
exemple une photo ou un texte affichS sur l'Scran 4) et 
repond k une question ou indication relative a ce 
document (par exemple : "d6crivez la photo", " resume r le 
texte", etc.). La consigne peut comprendre des 
directives, par exemple quant au nombre maximal de mots 
que doit contenir le texte. L 1 utilisateur introduit 
celui-ci dans le. PC 1, par exemple au moyen du clavier 5, 
et lorsqu'il a valid§ def initivement ce texte, il se voit 
attribuer une note finale comme d6crit ci-dessus en 
regard de la figure 2. 

II va de soi que le mode de realisation, decrit n'est 
qu'un exemple et I'on pourrait le modifier, notarnment par 
substitution d' equivalents techniques, sans sortir pour 
cela du cadre de 1' invent ion. 
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REVENDICATIONS 
1. Systeme de traitement de donnees pour 
revaluation d'un texte en langage naturel elabore par un 
utilisateur en reponse a une consigne transmise audit 
utilisateur, comprenant : 

- des premiers moyens d' interface pour 1' introduction 
par ledit utilisateur dudit texte en reponse a ladite 
consigne, et . 

- des moyens de traitement de donnees pour 
1' evaluation dudit texte, 

caracterise en ce que lesdits moyens de traitement 
de donnees (2) comprennent : 

* des moyens (8) de memorisation d'au moins une 
liste (13 ) de mots-cles associes a ladite 
consigne, 

* des moyens de comparison (2) pour identifier 
des mots dudit texte (10) coincidant avec des 
mots de ladite liste de mots-cles memorises, et 

* des moyens de calcul (2) pour generer une 
donnee (14,22) d' evaluation dudit texte en 
fonction du resultat de ladite comparaison. 

2. Systeme selon la revendication 1, caracterise en 
ce que lesdits moyens de memorisation (8) Contiennent 
plusieurs listes de mots-cles (13), chaque liste 
regroupant un ensemble de mots-cles affectes a un concept 
associe a ladite consigne. 

3. Systeme selon la revendication 2, caracterise en 
ce que lesdits moyens de calcul (2) sont adaptes pour 
calculer une note (14) fonction du nombre de listes dont 
ledit texte contient au moins un mot-cle. 

4. Systeme selon la revendication 3, caracterise en 
ce que lesdits moyens de memorisation (8) contiennent un 
coefficient de pertinence affecte a chacun desdits mots- 
cles et en ce que lesdits moyens de calcul (2) sont 
adaptes pour calculer ladite note (14) en fonction du 
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coefficient de pertinence d'au moins une partie des mots- 
cles contenus dans ledit texte (10). 

5. Systeme selon la revendication 4, caracterise en 
ce qu'a chaque liste est affectee une valeur maximale et 
en ce que lesdits moyens de calcul (2) sont adaptes pour : 

* calculer pour chaque liste une valeur ponderee 
fonction du coefficient de pertinence d'au 
moins un mot-cle de ladite liste contenu dans 
ledit texte, 

* calculer ladite note (14) en fonction de la 
somme des valeurs ponderees desdites listes. 

6. Systeme selon l'une quelconque des revendications 
1 a 5, caracterise en ce qu'il comprend des moyens 
(15,16,17) de verification orthographique et/qu 
grammaticale et/ou semantique dudit texte et en ce que 
lesdits moyens de calcul (2) sont adaptes pour generer 
ladite donnee d* evaluation (22) en fonction de ladite 
verification et de ladite comparaison. 

7. Systeme selon la revendication 6, caracterise en 
ce que lesdits moyens de calcul (2) sont adaptes pour 
calculer une note de qualite (18,19) fonction du nombre 
de fautes detectees dans ledit texte par lesdits moyens 
de verification et une note de pertinence (14) fonction 
du resultat de ladite comparaison. 

8. Systeme selon la revendication 7, caracterise en 
ce que lesdits moyens de calcul (2) sont adaptes pour 
generer ladite donnee d» evaluation (22) en fonction 
desdites notes de qualite (18,19) et de pertinence (14). 

9. Systeme selon l'une quelconque des revendications 
1 a 8, caracterise en ce qu'il comporte des moyens (8) de 
generation de ladite consigne et, pour la transmission de 
ladite consigne audit utilisateur, des seconds moyens 
d'interface (4,7) comprenant au moins l'un parmi les 
moyens de : 

* affichage alphanumerique, 
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* affichage graphique, 

* affichage vid§Oj 

* reproduction de messages audio. 

10. Systeme selon l'une quelconque des 
5 revendications 1 £ 9, caracterise en ce que lesdits 
moyens (5) d' introduction dudit texte comprennent au 
moins l'un parmi plusieurs moyens comprenant un clavier,, 
des moyens de reconnaissance de I'ecriture, des moyens de 
reconnaissance vocale. 
0 11. SystSme selon l'une quelconque des 

revendications 1 £ 10, caract6ris6 en ce qu'il est 
appliqu6 £ 1 f apprentissage des langues Strangles. 
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